Deep neural networks (DNNs) trained on large-scale datasets have exhibited significant performance in image classification. Many large-scale datasets are collected from websites, however they tend to contain inaccurate labels that are termed as noisy labels. Training on such noisy labeled datasets causes performance degradation because DNNs easily overfit to noisy labels. To overcome this problem, we propose a joint optimization framework of learning DNN parameters and estimating true labels. Our framework can correct labels during training by alternating update of network parameters and labels. We conduct experiments on the noisy CIFAR-10 datasets and the Clothing1M dataset.The results indicate that our approach significantly outperforms other state-of-the-art methods.
translated by 谷歌翻译
Taking into account background knowledge as the context has always been an important part of solving tasks that involve natural language. One representative example of such tasks is text-based games, where players need to make decisions based on both description text previously shown in the game, and their own background knowledge about the language and common sense. In this work, we investigate not simply giving common sense, as can be seen in prior research, but also its effective usage. We assume that a part of the environment states different from common sense should constitute one of the grounds for action selection. We propose a novel agent, DiffG-RL, which constructs a Difference Graph that organizes the environment states and common sense by means of interactive objects with a dedicated graph encoder. DiffG-RL also contains a framework for extracting the appropriate amount and representation of common sense from the source to support the construction of the graph. We validate DiffG-RL in experiments with text-based games that require common sense and show that it outperforms baselines by 17% of scores. The code is available at https://github.com/ibm/diffg-rl
translated by 谷歌翻译
进化策略(ES)是黑框连续优化的有前途的算法类别之一。尽管在应用方面取得了广泛的成功,但对其收敛速度的理论分析在凸二次函数及其单调转换方面受到限制。%从理论上讲,它在凸功能上的收敛速度速度仍然很模糊。在这项研究中,(1+1)-ES在本地$ l $ -l $ -lipschitz连续梯度上的上限和下限(1+1)-ES的线性收敛速率被推导为$ \ exp \左( - \ omega_ {d \ to \ infty} \ left(\ frac {l} {d \ cdot u} \ right)\ right)\ right)$ and $ \ exp \ left( - \ frac1d \ right)$。值得注意的是,对目标函数的数学特性(例如Lipschitz常数)的任何先验知识均未给出算法,而现有的无衍生化优化算法的现有分析则需要它们。
translated by 谷歌翻译
在多类分类模型的现实应用应用中,重要类中的错误分类(例如停止符号)可能比其他类别(例如速度限制)更有危害。在本文中,我们提出了一个损失函数,可以改善重要类别的回忆,同时使用跨透镜损失保持与情况相同的准确性。出于我们的目的,我们需要比其他班级更好地分离重要班级。但是,现有的方法对跨凝性损失造成较敏感的惩罚并不能改善分离。另一方面,给出特征向量与与每个特征相对应的最后一个完全连接层的重量向量之间的角度的方法可以改善分离。因此,我们提出了一个损失函数,可以通过仅设置重要类别的边缘来改善重要类别的分离,即称为类敏感的添加性角度损失(CAMRI损失)。预计CAMRI的损失将减少重要类的特征和权重之间的角度方差相对于其他类别,这是由于特征空间中重要类周围的边缘通过为角度增加惩罚而在特征空间中的边缘。此外,仅将惩罚集中在重要类别上几乎不会牺牲其他阶级的分离。在CIFAR-10,GTSRB和AWA2上进行的实验表明,所提出的方法可以在不牺牲准确性的情况下改善跨透镜损失的召回率提高了9%。
translated by 谷歌翻译
我们为基于语义信息(称为ConceptBeam的语义信息)提出了一个新颖的框架。目标语音提取意味着在混合物中提取目标扬声器的语音。典型的方法一直在利用音频信号的性能,例如谐波结构和到达方向。相反,ConceptBeam通过语义线索解决了问题。具体来说,我们使用概念规范(例如图像或语音)提取说话者谈论概念的演讲,即感兴趣的主题。解决这个新颖的问题将为对话中讨论的特定主题等创新应用打开门。与关键字不同,概念是抽象的概念,使直接代表目标概念的挑战。在我们的方案中,通过将概念规范映射到共享的嵌入空间,将概念编码为语义嵌入。可以使用由图像及其口语字幕组成的配对数据进行深度度量学习来构建这种独立的空间。我们使用它来桥接模式依赖性信息,即混合物中的语音段以及指定的,无模式的概念。作为我们方案的证明,我们使用与口语标题相关的一组图像进行了实验。也就是说,我们从这些口语字幕中产生了语音混合物,并将图像或语音信号用作概念指定符。然后,我们使用已识别段的声学特征提取目标语音。我们将ConceptBeam与两种方法进行比较:一种基于从识别系统获得的关键字,另一个基于声音源分离。我们表明,概念束明显优于基线方法,并根据语义表示有效提取语音。
translated by 谷歌翻译
公共网站上可用的音频数据量正在迅速增长,并且需要有效访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法,该方法可以通过引入辅助文本信息来检索与查询音频相似但略有不同的目标音频,该信息描述了查询和目标音频之间的差异。虽然传统基于内容的音频检索的范围仅限于与查询音频相似的音频,但提出的方法可以通过添加辅助文本查询模型的嵌入来调整检索范围,以嵌入查询示例音频中的嵌入共享的潜在空间。为了评估我们的方法,我们构建了一个数据集,其中包括两个不同的音频剪辑以及描述差异的文本。实验结果表明,所提出的方法比基线更准确地检索配对的音频。我们还基于可视化确认了所提出的方法获得了共享的潜在空间,在该空间中,音频差和相应的文本表示为相似的嵌入向量。
translated by 谷歌翻译
大量标记的医学图像对于准确检测异常是必不可少的,但是手动注释是劳动密集型且耗时的。自我监督学习(SSL)是一种培训方法,可以在没有手动注释的情况下学习特定于数据的功能。在医学图像异常检测中已采用了几种基于SSL的模型。这些SSL方法有效地学习了几个特定特定图像的表示形式,例如自然和工业产品图像。但是,由于需要医学专业知识,典型的基于SSL的模型在医疗图像异常检测中效率低下。我们提出了一个基于SSL的模型,该模型可实现基于解剖结构的无监督异常检测(UAD)。该模型采用解剖学意识粘贴(Anatpaste)增强工具。 Anatpaste采用基于阈值的肺部分割借口任务来在正常的胸部X光片上创建异常,用于模型预处理。这些异常类似于实际异常,并帮助模型识别它们。我们在三个OpenSource胸部X光片数据集上评估了我们的模型。我们的模型在曲线(AUC)下展示了92.1%,78.7%和81.9%的模型,在现有UAD模型中最高。这是第一个使用解剖信息作为借口任务的SSL模型。 Anatpaste可以应用于各种深度学习模型和下游任务。它可以通过修复适当的细分来用于其他方式。我们的代码可在以下网址公开获取:https://github.com/jun-sato/anatpaste。
translated by 谷歌翻译
在统计学习中,到目前为止已经提出了许多问题公式,例如多级学习,互补的学习,多标签学习,多任务学习,这些学习为各种现实世界任务提供了理论模型。尽管它们已经进行了广泛的研究,但它们之间的关系尚未得到充分研究。在这项工作中,我们专注于一种称为多构想学习(MIL)的特定问题,并证明包括上述所有问题(以及一些新问题)的各种学习问题可以通过理论上保证的概括范围,在其中将一些新问题降低到MIL减少是根据我们作为副产品提供的新还原方案确定的。结果表明,MIL-REDUCTION为设计和分析各种学习问题的算法提供了一个简化而统一的框架。此外,我们证明了还可以将MIL-REDUCTION框架进行内核。
translated by 谷歌翻译